Red Hat представила Red Hat Enterprise Linux AI (RHEL AI), базовую платформу, которая позволит более эффективно разрабатывать, тестировать и запускать генеративные модели искусственного интеллекта (ИИ) для поддержки корпоративных приложений. Фактически это специализированный дистрибутив, включающий базовые модели, инструменты для работы с ними и необходимые драйверы.

Источник изображений: Red Hat

Доступная сейчас в качестве превью для разработчиков, платформа RHEL AI включает в себя семейство больших языковых моделей (LLM) IBM Granite, недавно ставших доступными под лицензией Apache 2.0, инструментом тюнинга и доработки моделей InstructLab посредством методики LAB (Large-Scale Alignment for Chatbots), а также различные библиотеки и фреймворки.

Решение представляется в виде готового для развёртывания образа и является частью MLOps-платформы OpenShift AI. По словам Red Hat, RHEL AI предоставляет поддерживаемую, готовую к корпоративному использованию среду для работы с ИИ-моделями на аппаратных платформах AMD, Intel и NVIDIA. По словам компании, open source подход позволит устранить препятствия на пути реализации стратегии в области ИИ, такие как недостаток навыков обработки данных и финансовых возможностей.

Основная цель RHEL AI и проекта InstructLab — предоставить экспертам в предметной области возможность напрямую вносить свой вклад в большие языковые модели, используя свои знания и навыки. Новая платформа позволит им более эффективно создавать приложения с использованием ИИ, например, чат-боты. Впоследствии при наличии подписки RHEL AI компания предложит поддержку корпоративного уровня на протяжении всего жизненного цикла продукта, начиная с модели Granite 7B и ПО и заканчивая возможным возмещение ущерба в отношении интеллектуальной собственности.

«Опираясь на инфраструктуру GPU, доступную в IBM Cloud, которая используется для обучения моделей Granite и поддержки InstructLab, IBM Cloud получит поддержку RHEL AI и OpenShift AI. Эта интеграция позволит предприятиям легче внедрять генеративный ИИ в свои критически важные приложения», — отметила компания.

При этом прямо сейчас для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти, а также хранилищем ёмкостью от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

Корпорация IBM сообщила о том, что заказчики теперь могут получить облачный доступ к серверам LinuxONE Bare Metal. Эти системы предназначено для развёртывания сред на базе Linux, а не на проприетарной z/OS.

В серверах LinuxONE применяется тот же процессор Telum, который IBM устанавливает в свои мейнфреймы z16. Утверждается, что решения LinuxONE обеспечивают примерно такой же уровень отказоустойчивости, что и мейнфреймы. Кроме того, серверы LinuxOne превосходят системы с архитектурой x86 по плотности вычислений и энергопотреблению.

IBM выделяет две ключевые области применения для LinuxONE Bare Metal. Одна из них — работа с данными. Благодаря использованию Telum уменьшается количество задействованных процессоров по сравнению с обычными платформами х86. А поскольку при работе с СУБД лицензионные сборы обычно рассчитываются в соответствии с количеством процессорных ядер, заказчики смогут сэкономить на отчислениях.

Источник изображения: IBM

Второе направление — рабочие нагрузки по модернизации приложений, особенно те, которые выполняются на Red Hat OpenShift Container Platform. В этом случае серверы LinuxONE обеспечат более низкую задержку и более высокую пропускную способность по сравнению с альтернативными платформами.

Заказчики LinuxONE Bare Metal смогут выбирать из набора предварительно настроенных конфигураций с определённым объёмом памяти и нужной вместимостью хранилища для выполнения высокопроизводительных рабочих нагрузок. На развёртывание инстансов требуется около 10 минут. Цены начинаются с $1490,66 в месяц за систему с парой vCPU.

Корпорация IBM анонсировала HPC-систему под названием Vela — это облачный суперкомпьютер, оптимизированный для задач ИИ. В основу положены процессоры Intel Xeon Cascade Lake, а также ускорители NVIDIA. Сообщается, что Vela заработала ещё в мае 2022 года. Она базируется на облачной платформе IBM Cloud, но в настоящее время суперкомпьютер предназначен для использования только исследовательским сообществом IBM.

Каждый из узлов комплекса оснащён двумя процессорами Intel Xeon Cascade Lake (в данном случае IBM отказалась от собственных чипов POWER10) и восемью ускорителями NVIDIA A100 (80 Гбайт). Объём оперативной памяти составляет 1,5 Тбайт. Задействованы четыре NVMe SSD, каждый вместимостью 3,2 Тбайт. Каждая пара ускорителей подключена посредством двух 100GbE-интерфейсов к ToR-коммутатору, каждый из которых, в свою очередь, через два канала 100GbE соединён с магистральными коммутаторами.

При создании системы IBM сделала выбор в пользу конфигурации на основе виртуальных машин (ВМ). Утверждается, что хотя «голое железо» предпочтительнее для достижения максимальной производительности, подход с применением ВМ даёт большую гибкость. Использование виртуальных машин, в частности, обеспечивает возможность динамического масштабирования кластеров ИИ и перераспределения ресурсов. При этом создателям удалось снизить «штраф» к производительности до менее чем 5 %.

Источник изображения: IBM

В состав Vela входят 60 стоек. Если верить диаграмме выше, каждая стойка содержит шесть узлов, что в сумме даёт 360 узлов и 2880 ускорителей NVIDIA A100. Система изначально интегрирована в среду IBM Cloud VPC, а это означает, что ИИ-нагрузки могут задействовать любые из более чем 200 сервисов IBM Cloud. В перспективе на базе Vela могут быть созданы другие суперкомпьютеры. «Хотя эта работа проделана с прицелом на обеспечение производительности и гибкости для крупномасштабных рабочих нагрузок ИИ, инфраструктура была разработана таким образом, чтобы её можно было развернуть в любом из наших мировых дата-центров любого масштаба», — заявляет IBM.